最近，致力于通过现代机器学习方法预测脑部疾病的最新神经影像学研究通常包括单一模态并依靠监督的过度参数化模型。但是，单一模态仅提供了高度复杂的大脑的有限视图。至关重要的是，临床环境中的有监督模型缺乏用于培训的准确诊断标签。粗标签不会捕获脑疾病表型的长尾谱，这导致模型的普遍性丧失，从而使它们在诊断环境中的有用程度降低。这项工作提出了一个新型的多尺度协调框架，用于从多模式神经影像数据中学习多个表示。我们提出了一般的归纳偏见分类法，以捕获多模式自学融合中的独特和联合信息。分类法构成了一个无解码器模型的家族，具有降低的计算复杂性，并捕获多模式输入的本地和全局表示之间的多尺度关系。我们使用各种阿尔茨海默氏病表型中使用功能和结构磁共振成像（MRI）数据对分类法进行了全面评估，并表明自我监督模型揭示了与疾病相关的大脑区域和多模态链接，而无需在预先访问PRE-PRE-the PRE-the PRE-the PRE-the PRE-PRECTEN NICKES NOCKER NOCKER NOCKER NOCKER NOCKER NOCE访问。训练。拟议的多模式自学学习的学习能够表现出两种模式的分类表现。伴随的丰富而灵活的无监督的深度学习框架捕获了复杂的多模式关系，并提供了符合或超过更狭窄的监督分类分析的预测性能。我们提供了详尽的定量证据，表明该框架如何显着提高我们对复杂脑部疾病中缺失的联系的搜索。
translated by 谷歌翻译
Data scarcity is a notable problem, especially in the medical domain, due to patient data laws. Therefore, efficient Pre-Training techniques could help in combating this problem. In this paper, we demonstrate that a model trained on the time direction of functional neuro-imaging data could help in any downstream task, for example, classifying diseases from healthy controls in fMRI data. We train a Deep Neural Network on Independent components derived from fMRI data using the Independent component analysis (ICA) technique. It learns time direction in the ICA-based data. This pre-trained model is further trained to classify brain disorders in different datasets. Through various experiments, we have shown that learning time direction helps a model learn some causal relation in fMRI data that helps in faster convergence, and consequently, the model generalizes well in downstream classification tasks even with fewer data records.
translated by 谷歌翻译
域适应性是现代机器学习中的一种流行范式，旨在解决培训或验证数据集之间具有用于学习和测试分类器（源域）和潜在的大型未标记数据集的培训或验证数据集之间的分歧问题，其中利用了模型（目标域）（目标域）（目标域） 。任务是找到源数据集的源和目标数据集的这种常见表示，其中源数据集提供了培训的信息，因此可以最大程度地减少来源和目标之间的差异。目前，最流行的领域适应性解决方案是基于训练神经网络，这些神经网络结合了分类和对抗性学习模块，这些模块是饥饿的，通常很难训练。我们提出了一种称为域适应性主成分分析（DAPCA）的方法，该方法发现线性减少的数据表示有助于解决域适应任务。 DAPCA基于数据点对之间引入正权重，并概括了主成分分析的监督扩展。 DAPCA代表一种迭代算法，因此在每次迭代中都解决了一个简单的二次优化问题。保证算法的收敛性，并且在实践中的迭代次数很少。我们验证了先前提出的用于解决域适应任务的基准的建议算法，还显示了在生物医学应用中对单细胞法数据集进行分析中使用DAPCA的好处。总体而言，考虑到源域和目标域之间可能的差异，DAPCA可以作为许多机器学习应用程序中有用的预处理步骤。
translated by 谷歌翻译
深度学习已被广泛应用于神经影像学，包括预测磁共振成像（MRI）体积的脑表型关系。 MRI数据通常需要进行广泛的预处理，然后才能通过深度学习准备建模，部分原因是其高维和异质性。各种MRI预处理管道都有自己的优势和局限性。最近的研究表明，即使使用相同的数据，与管道相关的变化也可能导致不同的科学发现。同时，机器学习社区强调了从以模型为中心转移到以数据为中心的方法的重要性，因为数据质量在深度学习应用中起着至关重要的作用。在这个想法的激励下，我们首先评估预处理管道选择如何影响监督学习模型的下游表现。接下来，我们提出了两个管道不变表示方法MPSL和PXL，以提高分类性能的一致性并捕获管道对之间的类似神经网络表示。使用来自英国生物库数据集的2000名人类受试者，我们证明了这两种模型都具有独特的优势，特别是可以使用MPSL来改善对新管道的样本概括，而PXL则可以用来提高预测性能一致性和代表性封闭管道集中的相似性。这些结果表明，我们提出的模型可用于克服与管道相关的偏差，并提高神经成像预测任务的可重复性。
translated by 谷歌翻译
深度神经网络的可解释性方法主要集中于类得分相对于原始或扰动输入的敏感性，通常使用实际或修改的梯度测量。某些方法还使用模型不足的方法来理解每个预测背后的基本原理。在本文中，我们争论并证明了模型参数空间相对于输入的局部几何形状也可以有益于改善事后解释。为了实现这一目标，我们引入了一种称为“几何引导的集成梯度”的可解释性方法，该方法沿线性路径的梯度计算以传统上用于集成梯度方法中的方式构建。但是，我们的方法没有集成梯度信息，而是从输入的多个缩放版本中探索了模型的动态行为，并捕获了每个输入的最佳归因。我们通过广泛的实验证明，所提出的方法在主观和定量评估中的表现优于香草和综合梯度。我们还提出了“模型扰动”理智检查，以补充传统使用的“模型随机化”测试。
translated by 谷歌翻译
2022-05-18
如果生成过程的因果时间尺度不匹配数据的测量时间尺度，则通过因果学习算法估计的图形结构可以提供高度误导的因果信息。尽管最近已经确认了这个问题，但从业人员的响应资源有限，因此必须继续使用他们知道可能会误导的模型。现有方法要么（a）要求已知因果和测量时间尺度之间的差异。或（b）当时间尺度差异未知时，只能处理非常少量的随机变量；或（c）仅适用于对变量对，尽管对先验知识的假设较少；或（d）不切实际地返回解决方案太多。本文解决了所有四个挑战。我们将约束编程与对问题结构的理论见解以及有关可接受因果相互作用的先前信息结合在一起。最终的系统提供了一种实用的方法，该方法可以扩展到显着更大的随机变量集（> 100），不需要精确了解时间尺度差异，支持边缘错误识别和参数连接强度，并且可以在许多可能的解决方案中提供最佳选择。这些改进的累积影响是获得速度和信息性多个数量级的增益。
translated by 谷歌翻译
深度加强学习（RL）是解决复杂的现实问题的强大框架。在框架中使用的大型神经网络传统上与更好的泛化能力相关，但它们的增加的大小需要广泛的培训持续时间，大量硬件资源和较长推理时间的缺点。解决这个问题的一种方法是修剪神经网络，只留下必要的参数。用于在固定数据分布的应用中施加稀疏性的最先进的并发修剪技术。但是，他们尚未在RL的背景下大大探索。我们缩小了RL和单次修剪技术之间的差距，并将一般修剪方法呈现给离线RL。在RL培训开始之前，我们利用固定数据集进行修剪神经网络。然后，我们运行不同网络稀疏度水平的实验，并评估连续控制任务中的初始化技术修剪的有效性。我们的结果表明，随着95％的网络权重修剪，离线-RL算法仍然可以在我们的大部分实验中保持性能。据我们所知，没有先前的工作，利用在这种高水平的稀疏性的RL保留的性能中进行修剪。此外，在未改变学习目标的情况下，可以在任何现有的离线-RL算法中容易地集成到任何现有的离线RL算法中。
translated by 谷歌翻译
功能连接（FC）研究已经证明了通过FMRI相关矩阵的无向加权图来研究脑及其疾病的总体价值。然而，与FC的大多数工作都取决于连接的方式，还取决于FC矩阵的手册后HOC分析。在这项工作中，我们提出了一个深入的学习架构Braingnn，它可以学习连接结构，作为学习对象的一部分。它同时将图形神经网络应用于此学习图，并学习选择对预测任务重要的大脑区域的稀疏子集。我们展示了在精神分裂症FMRI数据集中的模型的最先进的分类性能，并证明了内省如何导致紊乱的相关结果。模型学到的图表表现出强烈的阶级歧视，相关地区的稀疏子集与精神分裂症文献一致。
translated by 谷歌翻译
发现不同的特征和他们从数据的关系可以帮助我们揭示各种任务至关重要的宝贵知识，例如分类。在神经影像体中，这些特征可以有助于理解，分类和可能预防大脑疾病。高度性能的模型内省过度分辨深度学习（DL）模型可以帮助找到这些特征和关系。然而，为了实现高性能等级DL模型，需要许多标记的训练样本（$ N $）很少可用。本文介绍了一种涉及图形卷积/神经网络（GCNS / GNN）的预训练方法，基于输入样本的两个高级嵌入之间的相互信息。许多最近提出的预训练方法预先列出了诸多可能的架构网络之一。由于几乎每个DL模型都是多个网络的集合，因此我们从模型的两个不同网络中获取我们的高级嵌入式 - A卷积和图形网络 - 。学习的高级图潜在表示有助于提高下游图形分类任务的性能，并绕过需要大量标记的数据样本。我们将方法应用于神经影像学数据集，用于将受试者分类为健康对照（HC）和精神分裂症（SZ）组。我们的实验表明，预先训练的模型显着优于非预先训练的模型，并且需要50美元的数据进行类似的性能。
translated by 谷歌翻译
多变量动力过程通常可以通过表示每个单独的时间序列的组件之间的加权连接图直观地描述。甚至如Pearson相关矩阵的简单表示，如Pearson相关矩阵，也可以是脑成像文献中所示的信息和预测。但是，有一种共识期望，强大的图形神经网络（GNNS）应该在类似的环境中更好地执行。在这项工作中，我们提出了一个比深谷深度浅的模型，但在脑成像应用中的预测准确性上才能表达它们。我们的模型学习单个时间序列的自回归结构，并通过以端到端的方式通过自我关注机制来估计学习的表示之间的指示连接图。模型的监督培训作为患者和控制之间的分类器导致模型，该模型产生指示的连接图，并突出显示每个受试者预测的时间序列的组件。我们展示了我们对功能性神经影像数据集分类精神分裂症患者和对照的结果。
translated by 谷歌翻译